本发明的下划线删除装置,从包含与字符串接触的下划线区域的二值图像数据中删除所述下划线区域,其特征为:具有下划线探索处理部,其以所述二值图像数据上的一点为起点,设置长方形的线样板,通过追踪该线样板中包含的像素,进行提取表示下划线位置坐标的折线的线样板匹配处理;以及下划线删除部,其进行根据所述折线求出所述下划线区域和背景区域的背景边界坐标、以及对所述下划线区域中的与所述字符串接触的部分进行插补处理而得到的所述下划线区域和所述字符串的字符边界坐标的处理,并进行通过所述背景区域的像素的颜色置换由所述背景边界坐标以及字符边界坐标包围的区域的处理。
1.一种下划线删除装置,其从包含与字符串接触的下划线区域的二值图像数据中删除所述下划线区域,其特征在于,具有:下划线探索处理部,其以所述二值图像数据上的一点为起点设置长方形的线样板,通过追踪该线样板中包含的像素,进行提取表示下划线位置坐标的折线的线样板匹配处理;以及下划线删除处理部,其进行根据所述折线求出所述下划线区域和背景区域的背景边界坐标、以及对所述下划线区域中的与所述字符串接触的部分进行插补处理而得到的所述下划线区域和所述字符串的字符边界坐标的处理,并进行从所述二值图像数据中删除由所述背景边界坐标以及字符边界坐标包围的区域的处理;所述下划线探索处理部以探索开始点为旋转中心,通过一边改变角度一边进行追踪,朝向包含最多的黑像素的方向设置线样板。
2.根据权利要求1所述的下划线删除装置,其特征在于,所述下划线探索处理部追踪所述线样板内的所述像素中的、满足预定的像素数量的像素。
3.根据权利要求1所述的下划线删除装置,其特征在于,所述下划线探索处理部还进行以下的处理:从所述折线在垂直方向上追踪像素,当在预定范围以上存在满足预定的像素数量的像素时,判定所述折线为构成表的表格线。
4.根据权利要求1所述的下划线删除装置,其特征在于,所述下划线删除处理部还进行以下的处理:从所述折线在垂直方向上追踪像素,当在预定范围以上存在满足预定的像素数量的像素时,判定所述字符串与所述下划线区域接触。
5.根据权利要求1所述的下划线删除装置,其特征在于,所述下划线删除处理部进行以下的处理:使用所述背景区域的像素的颜色置换由所述背景边界坐标以及字符边界坐标包围的区域,由此删除所述下划线区域。
6.一种下划线删除方法,其从包含与字符串接触的下划线区域的二值图像数据中删除所述下划线区域,其特征在于,具有:下划线探索处理步骤,其以所述二值图像数据上的一点为起点设置长方形的线样板,通过追踪该线样板中包含的像素,进行提取表示下划线位置坐标的折线的线样板匹配处理;以及下划线删除处理步骤,其进行根据所述折线求出所述下划线区域和背景区域的背景边界坐标、以及对所述下划线区域中的与所述字符串接触的部分进行插补处理而得到的所述下划线区域和所述字符串的字符边界坐标的处理,并进行从所述二值图像数据中删除由所述背景边界坐标以及字符边界坐标包围的区域的处理;在所述下划线探索处理步骤中以探索开始点为旋转中心,通过一边改变角度一边进行追踪,朝向包含最多的黑像素的方向设置线样板。
7.根据权利要求6所述的下划线删除方法,其特征在于,所述下划线探索处理步骤追踪所述线样板内的所述像素中的、满足预定的像素数量的像素。
8.根据权利要求6所述的下划线删除方法,其特征在于,所述下划线探索处理步骤还进行以下的处理:从所述折线在垂直方向上追踪像素,当在预定范围以上存在满足预定的像素数量的像素时,判定所述折线为构成表的表格线。
9.根据权利要求6所述的下划线删除方法,其特征在于,所述下划线删除处理步骤还进行以下的处理:从所述折线在垂直方向上追踪像素,当在预定范围以上存在满足预定的像素数量的像素时,判定所述字符串与所述下划线区域接触。
10.根据权利要求6所述的下划线删除方法,其特征在于,所述下划线删除处理步骤进行以下的处理:使用所述背景区域的像素的颜色置换由所述背景边界坐标以及字符边界坐标包围的区域,由此删除所述下划线区域。技术领域
本发明涉及业务文件处理装置,例如涉及用于删除与业务文件中的字符串接触的下划线的技术。
背景技术
近年来,对于在机关内积累的大量的纸质业务文件,通过扫描以及OCR进行字符识别,通过文件管理系统管理文件数据,由此来实现检索性的提高、纸质文件的安全保管、以及知识的共享。目前的OCR针对没有噪音(noise)的文件的字符串识别精度高,但是在与字符串接触地画出下划线时,存在很多时候无法正确识别该部分的字符的问题。OCR在进行字符识别时,进行将字符一个一个地剪切,然后判定剪切出的字符相当于哪个字符的处理,但是在对字符附加了下划线时,很多时候字符的剪切失败,或者将下划线识别为字符的一部分而进行了错误的判断。当进行误识别时,并不仅是无法取得该部分的字符信息,并且没有意义的字符信息作为噪音残留下来,成为检索时的障碍。此外,在存在于业务文件中的字符串中,画出下划线的字符串多是文件的标题、客户名称、各种管理编号等在确定该文件方面不可欠缺的信息。因此,当无法正确识别这些信息时,在检索时无法缩小该文件的检索范围,此时,产生检查全部登录的文件数据的负担。因此,在应用OCR时,在下划线与字符串接触时也需要高精度对该字符串进行字符识别。在对字符串画出下划线时,作为提高OCR的识别精度的方法,提出了从文件中的画有下划线的字符串中提取并删除下划线的方法。例如,在非专利文献1中提出了删除对于表格图像上存在的字符串画出的下划线的技术。此外,在非专利文献2中提出了将与字符串接触的下划线也作为删除对象的技术。但是,非专利文献1的技术是假设下划线没有与字符串接触的情况的技术。因此,在下划线与字符串接触时无法删除下划线。此外,非专利文献2的技术假设仅包含字符和下划线的文件。因此,在应用于业务文件那样的大多包含表的文件时,可能产生将构成表的表格线删除的弊端。【专利文献1】特开2002-358482号公报【非专利文献1】嶋好博、他3名,“帳票画像からの下線抽出の一手法”,FIT2002(科学技術フォーラム),I-85,pp.169-170,2002.09【非专利文献2】Zhen-longxa0Bai,Qiangxa0Huo,“Underlinexa0Detectionxa0andxa0Removalxa0inxa0axa0documentxa0Imagexa0Usingxa0Multiplexa0Strategies”,icpr,pp.578-581,17^thInternationalxa0Conferencexa0onxa0Patternxa0Recognition(ICPR’04)-Volume2,2004
发明内容
本发明是鉴于上述情况而提出的,其目的在于提供一种即使在业务文件内包含表,或者下划线与字符串接触的情况下,也能够删除下划线的技术。为了解决上述课题,本发明的下划线删除装置大致进行以下两个处理。在第一处理中,从二值图像数据中提取下划线区域的下划线位置坐标。该下划线位置坐标,是按每个预定长度提取具有某宽度和长度的下划线区域中包含的坐标而得到的坐标,用于决定下划线区域的框架。具体地说,在二值图像数据上设置具有一定面积的长方形的线样板(linexa0template),通过在该线样板内追踪(trace)满足预定值的像素,来对每个线样板提取下划线位置坐标。在第二处理中,删除通过求出下划线区域和背景的边界坐标、以及下划线区域和字符串的边界坐标来确定的下划线区域。具体地说,沿着连结提取出的下划线位置坐标而得到的折线(polyline),在相对于折线垂直方向上进行像素探索,由此求出边界坐标。详细地说,当在预定范围中不存在满足预定像素数量的像素时,判定为下划线区域和背景的边界,求出边界坐标。另一方面,当超过预定范围存在满足预定像素数量的像素时,判定为字符串与下划线区域接触,对边界坐标进行插补。从二值图像数据中删除通过求出的边界坐标而确定的下划线区域。具体地说,通过背景像素置换由求出的边界坐标包围的下划线区域。即,本发明的下划线删除装置,是从包含与字符串接触的下划线区域的二值图像数据中删除所述下划线区域的下划线删除装置,其特征为:具有下划线探索处理部,其以所述二值图像数据上的一点为起点设置长方形的线样板,通过追踪该线样板中包含的像素,进行提取表示下划线位置坐标的折线的线样板匹配处理;以及下划线删除部,其进行根据所述折线求出所述下划线区域和背景区域的背景边界坐标、以及对所述下划线区域中的与所述字符串接触的部分进行插补处理而得到的所述下划线区域和所述字符串的字符边界坐标的处理,并进行通过所述背景区域的像素的颜色置换由所述背景边界坐标以及字符边界坐标包围的区域的处理。根据以下的本发明的最佳实施方式以及附图,本发明的其他的特征将会变得清楚。根据本发明,能够从包含与字符串接触的下划线区域的二值图像数据中删除该下划线。由此,针对文件内的字符的OCR精度提高,业务文件的检索性提高。
附图说明
图1是概要地表示本发明的实施方式的业务文件处理装置的结构的功能框图。图2表示在图1所示的存储装置内存储的扫描图像数据的例子。图3表示在图1所示的数据存储器内存储的二值图像数据的例子。图4表示对于图3所示的二值图像数据应用了OCR的结果的例子。图5表示对于图3所示的二值图像数据应用了本发明的结果的例子。图6是用于说明下划线删除程序中的预处理部的流程图。图7是用于说明下划线删除程序中的下划线探索处理部的流程图。图8是用于说明下划线探索处理部中的线样板匹配处理的流程图。图9是用于说明下划线删除程序中的下划线删除处理部的流程图。图10A是下划线探索处理部中的下划线推定处理的说明图。图10B是下划线探索处理部中的下划线推定处理的说明图。图11是下划线探索处理部中的线样板匹配处理的说明图。图12A是下划线探索处理部中的线样板匹配处理的说明图。图12B是下划线探索处理部中的线样板匹配处理的说明图。图12C是下划线探索处理部中的线样板匹配处理的说明图。图12D是下划线探索处理部中的线样板匹配处理的说明图。图12E是下划线探索处理部中的线样板匹配处理的说明图。图12F是下划线探索处理部中的线样板匹配处理的说明图。图12G是下划线探索处理部中的线样板匹配处理的说明图。图13是下划线探索处理部中的探索开始点的跳过处理的说明图。图14是下划线删除处理部中的处理的说明图。图15表示下划线删除处理的结果的确认画面的例子。符号说明10中央处理装置、20数据存储器、21二值图像数据、22下划线位置数据、30输入输出装置、31键盘、32显示装置、33指点设备、34扫描仪、40下划线删除处理程序、41画面显示处理部、42预处理部、43下划线探索处理部、44下划线删除处理部、50存储装置、51扫描图像数据、52下划线删除图像数据
具体实施方式
以下参照附图,详细说明用于实施本发明的下划线删除装置的最佳实施方式。图1~图15举例表示了本发明的实施方式。在这些图中,附加了相同符号的部分表示同一物,基本的结构以及动作相同。此外,应该注意的是本实施方式仅是用于实现本发明的一个例子,并不限定本发明的技术的范围。(下划线删除装置的结构)图1是表示本发明实施方式的下划线删除装置的概要结构的功能框图。该下划线删除装置具备:进行所需要的运算处理以及控制处理等的中央处理装置10、存储中央处理装置10的处理中所需要的数据的数据存储器20、用于进行数据的输入输出的输入输出装置30、存储中央处理装置10的处理所需要的程序的程序存储器40、存储成为中央处理装置10的处理对象的数据或处理后的数据的存储装置50。数据存储器20具备:从扫描图像数据通过二值化而得到的二值图像数据21、以及存储从二值图像数据中探索下划线而得到的下划线位置的下划线位置数据22。输入输出装置30具备:由用于显示数据的显示装置32、打印机(未图示)等构成的输出部;以及由用于对于显示的数据进行选择菜单等操作的键盘31、鼠标等指点设备33或用于取得文件的扫描仪34等构成的输入部。程序存储器40具备:作为接受画面显示或用户的输入操作的接口的画面显示处理部41、进行针对扫描图像的预处理(从彩色图像向黑白图像的转换,噪音消除等)的预处理部42、从文件内探索下划线并取得下划线的位置的下划线探索处理部43、删除提取出的下划线的下划线删除处理部44。各个处理部作为程序代码而存储在程序存储器40中,由中央处理装置10执行各个程序代码来实现各处理部。存储装置50具备:扫描图像数据51和下划线删除图像数据52,所述扫描图像数据51是从扫描仪等取得的业务文件的扫描图像,所述下划线删除图像数据52是根据该扫描图像执行各种处理,删除了字符串上的下划线的图像。图2表示存储装置50中包含的扫描图像数据51的例子。在文件内包含与字符接触的下划线、记载有物件名称和数量等的表、以及表内的收讫章等。图3表示数据存储器20中包含的二值图像数据21的例子。该数据是对扫描图像数据51进行了印记的消除以及亮度的二值化后所得到的图像数据。在图像上部的由虚线包围的区域中存在附加了下划线的字符串。图4是表示对图3的二值图像数据21直接应用OCR,进行字符识别的结果的图像。在图3的二值图像数据21中,恰当地识别了图像上部的没有下划线的字符串和图像下部的表格线以及表内部。另一方面,错误地识别了图3的由虚线包围的区域中存在的带有下划线的字符串。图5表示对图3的二值图像数据21应用了本发明的下划线删除装置,从而删除了与字符串接触的下划线的下划线删除图像数据52的例子。将该图像数据存储在存储装置50中。(下划线删除装置中的处理)接下来,说明在具有上述结构的下划线删除装置中进行的处理。首先,中央处理装置10通过画面显示处理部41显示由扫描仪34输入的扫描图像数据51。然后,当接收到执行处理的命令时,按顺序执行预处理部42、下划线探索处理部43、下划线删除处理部44。在预处理部42中,进行图像上存在的印记等噪音的消除、向二值图像的转换处理。把此时生成的二值图像作为二值图像数据21存储在数据存储器20中。在下划线探索处理部43中,从二值图像数据21中探索对字符串附加的下划线,将下划线的坐标数据作为下划线位置数据22存储在数据存储器20中。在下划线删除处理部44中,根据下划线位置数据22,从二值图像数据21中删除下划线。然后,将删除下划线后的图像数据作为下划线删除图像数据52,存储在存储装置50中。关于各个处理,以下进行详细的说明。(预处理)图6是表示预处理的概要的流程图。在预处理中,作为下划线探索处理的预处理,对图2所示的扫描图像进行二值化处理。在此的动作主体是预处理部42。在步骤S601中,读入扫描业务文件而得到的扫描图像数据。在步骤S602中,为了除去文件中存在的公章或职务章等的印记,进行颜色丢弃(colorxa0drop-out)处理。颜色丢弃处理,是指从使用扫描仪读取表格等文件所得到的图像中,利用颜色信息的特征除去记入的字符、印记、标记等特定对象的技术(例如,参照专利文献1)。根据该技术,可以除去在从文件内进行OCR读取时成为噪音的对象。在步骤S603中进行二值化处理,将颜色丢弃后的图像转换为黑白二值的图像。在决定二值化的阈值时,可以使用各种公知的技术。例如,判别分析法,是在通过某个值ft将整个图像的亮度的直方图(histogram)划分为两个种类(级)时,把级间方差÷(种类1的级内方差+种类2的级内方差)的计算结果达到最大时的ft决定为阈值的方法。一般的业务文件,因为在白色的背景上通过黑色的字符进行记载,所以可以容易地决定二值化时的阈值。把二值化处理后生成的图像数据作为二值图像数据21存储在数据存储器20中。(下划线探索处理)图7是表示下划线探索处理的概要的流程图。在下划线探索处理中,从图3所示的二值图像数据21中探索下划线,输出下划线的位置坐标。在此的动作主体为下划线探索处理部43。在步骤S701中,从数据存储器20读取二值图像数据21,进行下划线位置推定。图10A以及B是下划线位置推定处理的说明图。首先,根据作为对象的文件,决定探索对象区域。探索对象区域是指在后述的线样板匹配处理(步骤S702中)中成为处理对象的区域。通过缩小处理对象的范围,处理速度提高。例如,营业凭证大多对标题、顾客名称、订货编号等重要信息画出了下划线,此外大多记载在文件的上部。因此。在图10A所示的例子中,将文件的上部作为探索对象区域。然后,更详细地推定下划线位置。具体地说,如图10B所示,求出在二值图像数据21上的探索对象区域内的各Y坐标的黑像素(表示字符、表格线、下划线的像素)的像素数量,把像素数量达到阈值以上的Y坐标上的区域推定为存在下划线的区域(详细探索区域)。在以后的处理中,仅对详细探索区域探索下划线的位置。由此,可以省去无用的处理。在步骤S702中,进行线样板匹配处理。在此,从二值图像数据中提取下划线区域的下划线位置坐标。该下划线位置坐标,是按照每个预定长度,提取具有某宽度和长度的下划线区域中包含的坐标而得到的坐标,用于决定下划线区域的框架。具体地说,在二值图像数据上设置具有一定面积的长方形的线样板,通过在该线样板内追踪满足预定值的像素,对于每个线样板提取表示下划线位置坐标的折线。由此确定下划线的位置坐标。将在后面详细说明本处理。在步骤703中,在线样板匹配结束后,检查提取出的折线的长度(图12G)。这是为了从长度的观点来判定提取出的折线是否为下划线。如果比预先规定的阈值短,则提取出的折线不是下划线,考虑是“土”或“上”等字符的一部分。此时,从下划线位置数据中删除该折线。在步骤S704中,在长度的检查后,进一步检查折线是否为构成表的一部分的表格线(图12G)。这是为了防止错误地将表的表格线删除。在表中,在线段的两端或者一端存在构成表的纵向延伸的表格线,但是在对字符附加的下划线中不存在这样的纵线,所以利用该特征将表与下划线相区别。具体地说,在折线的两端点,检测相对于线段方向垂直的方向的像素。如果是构成表的一部分的表格线,则认为至少存在一条在端点沿纵向延伸的表格线。由此,在折线的两端的垂直方向上进行一定像素的检查,如果存在一定以上的黑像素的方向至少具有一个,则将该折线判定为构成表的表格线的一部分,从下划线位置数据中删除该折线。在步骤S705中,把在长度检查处理(步骤S703)、表检查处理(步骤S704)的任何一个处理中都没有被删除而剩余的折线作为最终的下划线位置数据,记录在数据存储器20中。(线样板匹配处理)说明在步骤702中进行的、用于确定下划线的位置坐标的线样板匹配处理。图11~图13是线样板匹配的说明图。此外,图8是下划线探索处理中的线样板匹配处理的流程图。以下,按照该流程图进行详细的说明。在步骤S801中,在步骤S701中决定的详细探索区域中设定探索开始点。具体地说,如图11(a)那样,将探索对象区域划分为格状,在其中把详细探索区域内的格点作为探索开始点。此时,关于格点,X坐标间隔变宽,Y坐标间隔变窄。这是因为下划线在X轴方向上延伸。以下,以各探索开始点作为起点,进行线样板匹配。在步骤S802中,把从探索开始点中选择的未处理的坐标之一设定为起点。以下,从起点开始追踪构成下划线的黑像素,求出表示下划线位置的折线(以连续的线段构成的对象)。然后,对于各探索开始点进行该一连串的处理。在步骤S803中,首先从在步骤S802中设定的起点开始,在X轴的正或者负方向上设置线样板。图11(b)表示线样板。线样板是在X轴方向上较长的长方形的对象。然后,追踪线样板内的黑像素。一边改变角度一边进行线样板的设置。具体地说,以探索开始点为旋转中心,朝向包含最多的黑像素的方向设置线样板。如此,通过一边改变角度一边进行追踪,即使在扫描时文件倾斜的情况下,也能够稳定地追踪下划线部分。关于追踪,线样板内的黑像素越多视为匹配度越高,向匹配度最高的方向进行追踪。如此,因为根据线样板内的黑像素数量判定匹配度,所以即使在下划线中具有凹凸的情况下,也能够稳健地探索下划线的位置。图12B表示对于图12A的带有下划线的字符串进行线样板匹配的情形(为了说明方便,简单地用轮廓线表示)。在图12B中,从探索开始点开始,在X轴的正方向上设置了线样板。此外,将线样板的角度设置为匹配度最高的方向,即向右上倾斜的方向。在步骤S804中,判定是否存在匹配度成为阈值以上的方向。即,与判定下划线区域是否连续为相同的意义。当存在匹配度成为阈值以上的方向时,进入步骤S805。在不存在阈值以上的方向时,进入步骤S808。阈值是预先决定的常数。如图12B所示,当存在匹配度成为阈值以上的向右上倾斜的方向时,进入步骤S805。在步骤S805中,当在步骤S804的判定中存在匹配度成为阈值以上的方向时,即下划线区域连续时,判定是否需要修正线样板的终点。所谓需要修正终点的情况,是指如图12C那样,下划线区域虽然连续,但线样板越过下划线区域到达了背景区域的情况。在步骤S806中,当在步骤S805的判定中需要进行修正时,从最初的线样板的终点(暂定终点),将终点修正到下划线区域和背景区域的边界上。通过进行该处理,可以正确地提取表示下划线位置的折线。在图12C中,从成为暂定终点的线样板的最端部开始,向成为修正终点的下划线区域和背景区域的边界修正线样板的终点。另一方面,在不需要修正终点的位置时,不改变终点的位置地前进到步骤S807。在步骤S807中,把终点的坐标设为新的起点,更新探索时的起点。然后,再次进行从步骤S803开始的循环,继续进行下划线的追踪。在步骤S804中判断为不存在匹配度成为阈值以上的方向之前(在下划线的末端之前),继续进行追踪。在图12D中,以图12C的修正终点为新的起点,再次设置线样板,继续进行追踪。此外,在图12E中,在匹配度成为阈值以上的方向消失的下划线区域的末端之前,继续进行追踪。在步骤S808中,当在步骤S804中判定为不存在匹配度成为阈值以上的方向时,即直到下划线区域的末端为止已经进行了追踪时,判定是否以在步骤S802中设定的探索开始点为起点,在向X轴正方向的追踪和向负方向的追踪的两个方向上进行了探索。在步骤S809中,当在步骤S808中判定为仅在单向上进行了追踪时,从在步骤S802中设定的起点开始,向着与步骤S803相反的方向进行追踪。在图12F中,以探索开始点为起点,向X的轴负方向再次设置线样板,向负方向继续进行追踪。在步骤S810中,当在步骤S808中判定为已经对两方向进行了追踪时,在下划线位置数据22中记录构成表示提取出的下划线位置的折线的坐标值。在步骤S811中,在设定用于提取新的下划线的探索开始点之前,设定跳过的探索开始点(不需要追踪的探索开始点)。图13是该处理的说明图。作为从当前时刻的探索开始点A开始对下划线进行追踪的结果,直到探索开始点B、C附近为止,追踪完成。如图11(a)所示,在相同的Y坐标上,沿着X轴方向空开一定间隔地存在探索开始点,所以在从探索开始点A开始下划线的追踪结束时,不需要从探索开始点B以及C开始对下划线进行追踪。此时,具有与当前时刻的探索开始点A相同的Y坐标,把追踪重复的范围中包含的探索开始点设定为跳过的探索开始点。由此,可以实现处理的高效化以及高速化。在步骤S812中,如果存在未处理的探索开始点,则返回步骤S802,如果不存在,则结束线样板匹配处理。通过以上的线样板匹配处理,作为对详细探索区域内的各探索开始点进行下划线追踪的结果,向数据存储器20记录表示提取出的下划线位置的折线的坐标。(下划线删除处理)图9是表示下划线删除处理的概要的流程图。此外,图14是下划线删除处理的说明图。在下划线删除处理中,根据在下划线探索处理中提取出的下划线位置数据,从二值图像数据中删除下划线。在此的动作主体为下划线删除处理部44。在步骤S901中,如图14(a)所示,在二值图像数据中,从下划线位置数据中的折线上的Y坐标开始探索Y轴方向,求出下划线(黑像素)和背景(白像素)的边界坐标。此时,在一定以上的黑像素在Y轴方向上连续时,认为该区域是与字符的接触部分,所以不取得该部分的Y坐标。对于折线上的全部的X坐标进行该处理,取得边界坐标。在步骤S902中,在下划线和字符的接触部分,进行对下划线和字符的边界坐标进行插补的处理。具体地说,取得接触部分的两端点的坐标的加权平均。图14(b)是其说明图。在将左侧的端点设为P_L(X_L,Y_L),将右侧的端点设为P_R(X_R,Y_R),将进行插补的点设为P_M(X_M,Y_M)时,通过式(1)求出Y_M。Y_M={(X_R-X_M)Y_L+(X_M-X_L)Y_R}/(X_R-X_L)xa0xa0(式1)通过该处理,可以恰当地分离字符和下划线的接触部分。在步骤S903中,如图14(c)所示,根据在步骤S901、902中得到的边界坐标确定各个折线的上下的下划线边界。通过白像素涂覆由该下划线边界包围的区域。由此,从二值图像数据中删除下划线。在步骤S904中,显示图15所示的确认画面。用户可以确认在删除下划线后的二值图像数据上是否恰当地删除了下划线。如果没有问题,则可以通过在确认画面中按下“是”来指示认可。此时,将删除下划线后的二值图像数据作为下划线删除图像数据52,存储在存储装置50中。在没有得到用户的认可时,通过在确认画面中按下“否“,可以取消处理。(总结)在本发明的实施方式中,主要在以下的两个处理中具有特征。一个是下划线探索处理,另一个是下划线删除处理。在下划线探索处理中,从二值图像数据中提取下划线区域的下划线位置坐标。该下划线位置坐标是按每个预定长度提取具有某宽度和长度的下划线区域中包含的坐标而得到的坐标,用于决定下划线区域的框架。具体地说,在二值图像数据上设置具有一定面积的长方形的线样板,通过在该线样板内追踪满足预定值的像素,来对每个线样板提取下划线位置坐标。连结在本处理中提取出的下划线位置坐标的折线成为下划线区域的框架。在本处理中,为了使处理高效化,可以预先缩小为根据二值图像数据推定出下划线区域的详细探索区域来执行处理。此外,可以检查提取出的折线是否不是字符的一部分,或者不是表的一部分。在下划线删除处理中,删除通过求出下划线区域和背景的边界坐标、以及下划线区域和字符串的边界坐标来确定的下划线区域。具体地说,沿着折线,在相对于折线垂直方向上进行像素探索,来求出边界坐标。详细地说,当在预定范围中不存在满足预定像素数量的像素时,判定为下划线区域和背景的边界,求出边界坐标。另一方面,当超过预定范围存在满足预定像素数量的像素时,判定为字符串与下划线区域接触,对边界坐标进行插补。从二值图像数据中删除通过求出的边界坐标所确定的下划线区域。具体地说,通过背景像素置换由求出的边界坐标包围的下划线区域。通过以上的处理,能够从包含与字符串接触的下划线区域的二值图像数据中删除下划线区域。此外,即使在扫描时文件倾斜,或者在下划线上具有凹凸的情况下,也能够删除下划线。并且,可以将该下划线区域与字符的一部分或构成表的表格线相区别,自动地进行删除。结果,在对删除下划线后的图像数据通过OCR执行了字符识别时,可以高精度地识别字符。本发明还可以通过实现实施方式的功能的软件的程序代码来实现。此时,向系统或装置提供记录有程序代码的存储介质,该系统或装置的计算机(或CPU或MPU)读出在存储介质中存储的程序代码。此时,从存储介质读出的程序代码自身实现上述实施方式的功能,该程序代码自身以及存储它的存储介质构成本发明。作为用于提供这样的程序代码的存储介质,例如可以使用软盘、CD-ROM、DVD-ROM、硬盘、关盘、光磁盘、CD-R、磁带、非易失性的存储卡、ROM等。此外,可以根据程序代码的指示,由在计算机上运行的OS(操作系统)等进行实际的处理的一部分或全部,通过该处理实现上述实施方式的功能。并且,可以在把从存储介质读出的程序代码写入计算机上的存储器中之后,根据该程序代码的指示,由计算机的CPU等进行实际的处理的一部分或者全部,通过该处理实现上述实施方式的功能。此外,可以经由网络分发用于实现实施方式的功能的软件的程序代码,或者可以将其存储在系统或装置的硬盘或存储器等存储单元或CD-RW、CD-R等存储介质中,在使用时由该系统或装置的计算机(或CPU或MPU)读出存储在该存储单元或该存储介质中的程序代码来执行。